Esimerkki 9 Esimerkissä 6 miniminormiratkaisu on (ˆx, ˆx (, 0 Seuraavaksi näytetään, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun epätarkkuuden hinnalla Lauseen todistuksessa käytetään seuraavaa lemmaa ortogonaaliprojektio aliava- Lemma 6 Olkoon V R n aliavaruus ja olkoon matriisi Q V ruudelle V Jokaisella x R n Q V x V ja x Q V x (I Q V x V Todistus Lauseen (iii nojalla z V jos ja vain jos Q V z z Tutkitaan, kuuluuko vektori z Q V x V Nyt Q V (Q V x Q V x Q V x Lauseen (ii nojalla Täten Q V x V jokaisella x Toisaalta Q V V V, jolloin (x Q V x, z (x Q V x, Q V z (Q T V (x Q V x, z jokaisella z V Täten (I Q V x V Lause (i (Q V x Q Lause (ii V x, z (Q V x Q V x, z 0 Lause 0 Pienimmän neliösumman miniminormiratkaisu on yksikäsitteinen Todistus Olkoon x argmin x R n Mx y jokin PNS-ratkaisu (kts Lause 8 Lauseen 9 nojalla M T M x M T y (30 Kirjoitetaan yhtälössä (30 x muodossa x Q R(M T x + ( x Q R(M T x, missä matriisi Q R(M T on ortogonaaliprojektio aliavaruudelle R(M T Silloin M T y M T M(Q R(M T x + x Q R(M T M T M(Q R(M T x + M T M( x Q R(M T x Lemman 6 nojalla x Q R(M T x R(M T Toisaalta Lemman 5 nojalla R(M T N (M, jolloin M T M( x Q R(M T x 0 }{{} N (M Havaitaan, että myös ortogonaalinen projektio Q R(M T x on PNS-ratkaisu Lisäksi Q R(M T x Q R(M T x + x Q R(M T x x, missä epäyhtälö on aito aina, kun x Q R(M T x 5
Huomautus Yllä olevassa todistuksessa näytettiin, että pienimmän neliösumman miniminormiratkaisu on muotoa Q R(M T ˆx Lemma 5 Q N (M ˆx, missä x argmin Mx y Erityisesti, jos yhtälöllä Mx 0 on vain triviaaliratkaisu x R n x 0, niin N (M {0} R n Tällöin Q N (M on identtinen matriisi ja x Q R(M T x Tämä on kiertotie samaan tulokseen, joka saadaan jo yhtälön M T M x M T y yksikäsitteisestä ratkeavuudesta, kun M T M on kääntyvä matriisi Jos M T M on singulaarinen matriisi, niin miniminormiratkaisu on laskettava eri tavoin Esimerkki 0 Olkoon M Määrää PNS-ratkaisuista x argmin Mx y, missä y (,,, miniminormaratkaisu x R Ratkaisu: Lasketaan Yhtälö M T y M T M T on yksikäsitteisesti ratkeava, sillä Miniminormiratkaisu on (Mikä on M x y nyt? ( 0 ( 0 ( 5 3 ( x M T M x M T y 3 3 x ( 5 3 3 3 ( 3 det(m T M 5 3 ( 3 ( 3 6 0 x (M T M M T y 6 ( ( ( 3 3 3 3 5 3 ( 3 Tarkastellaan seuraavaksi esimerkkiä, jossa matriisilla M T M ei ole käänteismatriisia, jolloin PNS-ratkaisu ei ole yksikäsitteinen ja Esimerkki Olkoon M ( 0 3 5
Määrää miniminormiratkaisu minimointiongelmalle M x y min x R 3 Mx y, missä y (, 3 Ratkaisu: Lasketaan ( M T y ja 3 0 3 9 M T M 0 3 ( 0 3 5 3 3 3 3 3 3 9 Matriisilla M T M ei ole nyt käänteismatriisa (nähdään joko laskemalla det(m T M tai tarkastelemalla matriisin M dimensiota Määrätään yhtälön epäyksikäsitteiset ratkaisut: 5 3 3 3 3 3 3 9 9 5 3 3 M T M x M T y 3 3 3 3 9 x x x 3 5 9 3 3 3/5 3/5 /5 3 3 /5 6/5 7/5 0 6 7 0 6 7 3 5 3 5 5 6 7 6 7 3 3 0 3 4 3 0 8 6 7 0 0 0 0 0 0 0 0 Tällöin x 3 R on vapaa parametri, x 6 x 3 + 7 ja x 3 x 3 + 4 Pienimmän neliösumman ratkaisut ovat muotoa 3 x 3 + 4 x 6 x 3 + 7, x 3 R 3 x 3 Näistä ratkaisuista on valittava ratkaisu, jonka normi on pienin Lasketaan normin neliö x (3x 3 + 4 + (6x 3 + 7 + x 3, joka on toisen asteen polynomi muuttujan x 3 suhteen Etsitään normin neliön minimi derivaatan nollakohtien avulla: 0 d dx 3 (3x 3 + 4 + (6x 3 + 7 + x 3 6(3x 3 + 4 + (6x 3 + 7 + x 3 jonka ratkaisu on x 3 08 (kyseessä on selvästi minimi Pienimmän neliösumman 9 miniminormiratkaisu on silloin ( x 3 08 08 + 4, 6 + 7, 08 (048, 004, 7 9 9 9 53
Huomautus Pienimmän neliösumman ratkaisut x argmin Mx y ovat samat x R n kuin yhtälön M x Q R(M y ratkaisut, sillä M x y M x Q R(M y (y Q R(M y M x Q R(M y (M x Q R(M y, y Q R(M y (y Q R(M y, M x Q R(M y + y Q R(M y M x Q R(M y + y Q R(M y Vektorin x valinta ei vaikuta jälkimmäiseen termiin lainkaan ja ensimmäinen ei-negatiivinen termi häviää täsmälleen silloin, kun M x Q R(M y Singulaariarvohajotelma Eräs tapa laskea miniminormiratkaisu on käyttää hyväksi ns singulaariarvohajotelmaa Määritelmä 0 Matriisin M C m n singulaariarvohajotelma (eng singular value decompositions on matriisin M esitys M UDV, missä U ja V ovat ortogonaalisia matriiseja (eli U U ja V V ja { 0 kun i j D ij σ i kun i j missä i,, m, j,, n ja luvut σ n ovat matriisin M singulaariarvot Lemma 7 Matriiseilla NN T ja N T N on samat nollasta eroavat ominaisarvot ja niitä vastaavilla ominaisvektoreilla e ja e on yhteys e Ne Todistus Olkoon N T Ne λe, missä λ 0 ja e 0 Silloin NN T e (NN T Ne N(N T e λne λe, missä Ne 0, sillä Ne (Ne, Ne (N T Ne, e λ e > 0 Lause Jokaisella matriisila on singulaariarvohajotelma Todistus Johdetaan singulaariarvohajotelma konstruktiivisesti matriisille M R m n : Olkoot λ k, k,, n yhtälön 0 det(m T M λi ratkaisut (matriisin M T M ominaisarvot ja olkoot yksikkövektorit e k yhtälöiden (M T M λ k Ie k 0 ratkaisut kaikilla k,, n (ominaisarvoja λ k vastaavat ominaisvektorit 54
Silloin Lemman 8 nojalla matriisin MM T nollasta eroaviin ominaisarvoihin liittyvät ominaisvektorit ovat Me k Lisäksi Me k Me k (Me k, Me k (M T Me k, e k λ k σ k (M Me k σ k (M aina, kun λ k > 0 Täten matriisin MM T normitetut ominaisvektorit ovat aina, kun σ k (M 0 Merkitään lisäksi ominaisarvoon 0 liittyviä ortonormitettuja ominaisvektoreita u r+,, u m Muodostetaan matriisit U m m ( Me Me Me r u r+ u m ja Vn n ( e e n, jotka ovat selvästi ortogonaalisia matriiseja, sillä e T i e j δ ij ja σ i (Me i T Me j σ j kaikilla i, j,, n (ja vastaavasti U Nyt (e k, M T Me k σ k δ k,k, joten matriisitulo U T MV e T M T e T M T e T r M T u T r+ u T m M ( e e n σ i σ j e T i M T Me j δ ij (e,m T Me (e,m T Me (e,m T Me (e,m T Me (e,m T Me n (e,m T Me n 0 m r 0 m r 0 m r (e r,m T Me (e r,m T Me 0 0 0 0 0 D m n 0 0 0 m r 0 m r (e r,m T Me r Kerrotaan U T MV D vasemmalta matriisilla U ja oikealta matriisillav T : UDV T U(U T MV V T M Matriisi U koostuu matriisin MM T ortonormitetuista ominaisvektoreista ja matriisi V matriisin M T M ortonormitetuista ominaisvektroreista Esimerkki Määrää singulaariarvohajotelma matriisille ( 0 0 M 55